# !python3      # 使用工具:PyCharm
# 用户登录名:yyds_l
# 项目名称: python爬虫     文件名称:1
# 系统日期:2022/3/14      系统时间:12:50
# 2022/03/14 12:50


"""导入资源包"""
import html
import urllib.request       # 请求库
import re       # 正则表达式
import os       # 文件执行
from urllib import parse        # 编码转换
import requests     # 网站请求
from bs4 import BeautifulSoup       # 代码格式化

# 实现思路/
""""
导入需要的主要第三方库 包括：urllib bs4
分三步走：
    1.获取源数据
        使用request向指定网站发起请求，
        标注其编码方式（utf-8）
    2.数据筛选
        使用bs_4进行数据HTML标准化，
        筛选出代码中所需要的数据 
    3.保存数据
        以二进制形式保存数据
    //4.利用数据
        后期如何使用这些数据
"""


# 定义    1.获取源数据
def html_data():
    try:
        url = 'http://59468.cn/html/2/youth/index.html'     # 请求网址
        resp = urllib.request.urlopen(url=url)      # 打开网站
        data = resp.read()      # 读取网站数据
        html_txt = data.decode("utf-8")     # 编码格式 utf-8
        # print(html)     # 打印输出
        # 调用数据清洗 ！
        bs_4(html_txt)
    except Exception as err:        # 异常捕捉
        print(err)      # 打印异常


# 2.数据清洗
def bs_4(html_txt):
    # print(html_txt)
    soup = BeautifulSoup(html_txt, "html.parser")      # 代码格式化
    tag = soup.find("title")        # 查找一个
    # print(type(tag), tag)
    a_list = soup.find_all("a")     # 查找多个
    # 循环遍历
    # for a_s in a_list:
    #     print(a_s.text)
    #     data = a_s["href"]        # 查找属性
    #     print(data)
    ps = soup.find("p", attrs={"class": "po-ws"})      # 查找特定的标签
    # print(ps.text)
    p_s = soup.find_all(name=None, attrs={"class":  "h1-sop"})
    for po in p_s:
        txt_p = po.text     # 查找文本
        print(txt_p)
    # 调用数据保存
    os_rb()


# 3.数据保存
def os_rb():
    print('保存成功')


if __name__ == "__main__":
    html_data()      # 调用/运行 源数据

